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(54) Title: METHOD FOR THE AUTOMATIC ANALYSIS OF MICROSCOPE IMAGES 

(54) Bezeichnung: VERFAHREN ZUR AUTOMATISCHEN ANALYSE VON MKROSKOPAUFNAHMEN 

(57) Abstract: The invention relates to a method for the automatic analysis of microscope images of biological objects such as, for 
exanq>le, fluorescence images of cells, comprising: a) at least two microscope images are tafcen from a sanq)le; b) a positive training 
set is detomined from image excerpts; c) a negative training set is d^Mmined from a sequence of image excerpts; d) characteristic 
features of a training set are assigned to classification values; e) of classification values of a sequence of images are automatically 
determined by means of the assignment determined in D); f) the position of biological objects is recognized by comparing the clas- 
sification value with a threshold value. 

(57) Zusammeniassung: Ein Verfahr^ zur automatischen Analyse von Mikroskopaufnahmen von biologischen Objekten wie bei- 
spielsweise Fluoreszenaufiiahmen von ZeUen umfasst: a) Aufnahme von mindestens zwei Mikroskopbildem einer Probe; b) Be- 
stimmimg eines positiven Trainingssets von Bildausschnitten; c) Bestimmung eines negativen Trainingssets Bildausschnitten; d) 
Zuordnung von charakteristischen Morkmalen do* Trainingss^ zu Klassifikationswerten; e) automatische Bestinmumg der Klassi- 
fikationswCTte folgender Aufnahmen mittels der in d) bestimmten Zuordnung; f) Erfcennung der Position biologisdier Objekte durch 
Veigleich des Klassifikationswotes mit einem Schwellwert 
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Verfahren zur automatischen Analyse von Mikroskopauf nahmen 
Beschreibunq : 

15 

Die vorliegende Erfindung betrifft ein Verfahren zur automatischen Analyse von 
Mikroskopaufnahmen von biologischen Objekten, insbesondere zur Analyse von 
Fluoreszenzaufnahmen von Zellen. 

2 0 In der modemen biomedizinischen Forschung werden in zahlreichen Experimenten 

unter anderem Fluoreszenztechniken zur Markierung venwandt, um blologisch 
signifikante Objekte unter dem Mikroskop sichtbar zu machen. Bel den Objekten kann 
es sich beispielsweise um Zellen eines bestimmten Typs oder in einem bestimmten 
Zustand handeln. Durch Fortschritte in der Automation solcher Experimente 1st es in 
25 den letzten Jahren fur biomedizinische Labors moglich geworden, gro6e Mengen 
derartiger bildgebender Experimente vollautomatisch durchzufuhren. 

So wird in der DE 197 09 348 CI eine Fluoreszenz-Mikroskoptechnik beschrieben, die 
einen Satz von n Bildem einer einzelnen Probe liefert, indem die Probe mit 

3 0 Lymphozyten mit n verschiedenen Fluorochrommarkem prapariert wurde. In jedem 

Blld fluoreszieren andere Untergaippen der Lymphozyten und erschelnen mit 
leuchtenden Abgrenzungen. Jeder Lymphozyt in der Probe hat in dem Satz von 
Bildem sein spezifisches Fluoreszenzverhalten. Er fluoreszlert in einer Untergruppe 
von Bildem und ist in dem Rest des Bildersatzes nicht sichtbar 
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Um die Fluoreszenzmuster aus dem Bildersatz zu extrahieren, mussen zunachst die 
fluoreszierenden Lymphozyten in den n Bildem detektiert werden. Die 
fluorochrommarkierten Lymphozyten unterscheiden sich hinsichtllch Ihrer Anzahl, 
Lokation und Intensitat. Da so groBe l\/lengen an Bildem und Biiddaten anfalien, aus 
5 denen zuerst die Infomiationen gelesen werden mussen, um diese dann biologiscli zu 
interpretieren, entsteht ein sog. "Flaschenhals" in der Auswertung der Experimente. 
Eine Bildinterpretation durch menschiiche Angestellte ist nicht durchfuhrbar, da sie zu 
zeitaufwendig ist und ihre Ergebnisse hSufig unzuveilassig sind. Die Ursache hierfur 
llegt in der ermudenden visuellen Auswertungsarbeit, die mit einem Konzen- 
10 trationsveriust schon nach l^urzer Zeit einhergeht. Zudem unterscheiden sich die zu 
detektierenden Objekte hinsichtlich ihrer Anzahl, Lokation und Intensitat. Daher 
schwanken Bildparameter wie Kontrast und Rauschen von Bild zu Bild. AuBerdem 
weisen die Objekte, wie z.B. Zellen in Gewebeprot>en erhebliche Variationen 
hinsichtlich ihrer Fomn und Gr63e auf . 

15 

Es besteht so die Notwendigkeit von automatischen Auswertungsverfahren, welche in 
einem Bild die zu detektierenden Objekte lokalisieren. 

Fruhere Arbeiten zur Automatisierung der Zelldetektion richten ihr Augenmerk im 
20 wesentllchen auf modellbasierte Ansatze. Unter diesen findet sich auch die Idee, ein 
geometrisches Modell auf ein Gradientenensemble anzupassen (Mardia et al., 1997, 
In: IEEE Transactions on Pattern Analysis and Machine Intelligence, 19: 1035-1042). 
Dazu zahit auch die Nutzung der Wellenpropagation (Hanahara und Hiyane, 1990, In: 
Machine Visions and Applications, 3: 97-111) oder einer Hough-Transfomnation, um 
25 zirkulare Objekte zu detektieren (Gerig und Klein, 1986, In: Proc. Int. Conf. on Pattern 
Recognition, 8: 498-500). Diese Ansatze sind jedoch nachteiligenweise haufig sensitiv 
gegenuber Verandemngen der Fomn des Objekts und lassen sich von Laien nicht 
ohne weiteres anpassen. Femer sind die Bilder aufgrund heterogener Beleuchtungs- 
bedlngungen nicht selten verrauscht, und die Zellen sind teilweise verdeckt, was eine 
30 Detektion durch Randgrenzenabtastung ungeeignet macht (Galbralth et al.; 1991, In: ^ 
Cytometry, 12: 579-596). 
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Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren der eingangs 
genannten Art bereitzustellen, daB ein einfaches automatisiertes, schnelles und leicht 
2u adaptierendes Detektionsverfahren von Zellen 

5 Gelost wird diese Aufgabe durch eine Verfahren mit den Merkmalen des Anspruchs 1 . 

Vorteiihafte Ausgestaltungen sind in den Unteranspruchen beschrieben. 

Die vorliegende Erfindung betrifft ein Verfahren zur automatischen Analyse von 

10 Mikroskopaufnahmen von bioioglschen Objekten, insbesondere zur Analyse von 
Fluoreszenzaufnahmen von Zellen, wobei das Verfahren folgende Schritte umfasst: (a) 
Aufnahme von mindestens zwei Mikroskopbildern einer Probe mit einer Vielzahl von 
biologischen Objekten; (b) Auswahl eines ersten Mikroskopbildes und Markierung der 
Position von Masseschwerpunkten einer Anzahl n der einzelnen in dem ersten 

15 Mikroskopbild erkennbaren Objekte, wobei jedem markierten Objekt ein definierter 
erster Bildausschnitt zugeordnet wird, der das marklerte Objekt jeweils vollstandig 
umgibt und wobei jedem ersten Bildausschnitt mit einem markierten Objekt der Wert 1 
zugeordnet wird und die Anzahl n von derart markierten ersten Bildausschnitten ein 
positives Trainingsset ergibt; (c) Auswahl und Markierung einer Anzahl m von zweiten 

20 Bildausschnitten, die zu den ersten Bildausschnrtten jeweils einen vorbestimmten 
Mindestabstand einhalten, wobei die GroBe und Form eines zweiten Bildausschnitts 
der GroBe und Form des ersten Bildausschnitts entspricht und wobei jedem zweiten 
Bildausschnitt der Wert 0 zugeordnet wird und die Anzahl m von derart markierten 
zweiten Bildausschnitten ein negatives Trainingsset ergibt; (d) Ermittelung 

25 charakteristischer Merkmale und/oder Merkmalskombinationen des positiven und 
negativen Trainingssets und Zuordnung zu einem Klassifikationswert zwischen 0 und 
1 , wobei der Klassifikationswert den Grad der Wahrscheinlichkeit des Vorhandenseins 
^ eines markierten Objekts reprasentiert und Speicherung der ermittelten Merkmale 

und/oder Merkmalskombinationen; (e) Automatische Ermittelung von 
( 30 Klassifikationswerten von alien Bildpunkten des zweiten und jedes weiteren 
Mikroskopbildes mittels eines Vergleichs der Bilddaten des zweiten und jeden weiteren 
Mikroskopbildes mit den in Verfahrensschritt (d) ermittelten Merkmalen und/oder 
Merkmalskombinationen, wobei fur jeden Bildpunkt des zweiten und jedes weiteren 
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Mikroskopbildes der Klassifikationswert fur einen den Bildpunkt umgebenden 
Bildausschnitt ermittelt wird und die GroRe und Form dieses Blldausschnitts der GroBe 
und Form des ersten Oder zweiten Bildausschnitts entspricht; und (f) Erkennung der 
Position von bioiogischen Objekten in dem zweiten Oder jedenn weiteren Mikroskopbild 
5 durch Auswertung der emnittelten Klassifikatlonswerte, wobei die emriittelten ^ 
Klassifikationswerte mit einem vorgegebenen Schwellenwert verglichen werden, der 
das Vorhandensein eines bioiogisciien Objekts reprasentiert. 

Das erfindungsgemaBe Verfahren zur Detektion von bioiogischen Objekten wie 
10 beispielsweise Zellen in Mikroskopbildem arbeitet vorteilhaftenweise mit 
Klassiflkationswerten, die Bildausschnitten fester GroBe und Form einen Wert 
zwischen 0 und 1 zuordnen und die wiedergeben, ob in diesem Bildaussclinitt ein 
biologisches Objekt zu sehen ist (1) oder nictit (0). Es ist aber auch moglich, andere, 
vonelnander verschiedene Zaiilenwerte zu verwenden. In einem Bild werden alle 
15 Zellen gefunden indem alle Bildbereiche einem Klassifikationswert zugeordnet werden. 
Durch eine einfache automatische Suche nach hohen Werten (Schwellwertanalyse) 
konnen so die Positionen der bioiogischen Objekte automatisch lokalisiert werden und 
beispielsweise in einer Datei gespeichert und weiterverarbeitet werden. Das 
Bereltstellen solcher Klassifikationswerte bzw. eines entsprechenden Klassifikators 
20 und deren einfache Adaption im Falle von signifikanten Veranderungen der 
Mikroskopbilder durch Modifikationen am Mikroskop, andere Proben. andere 
Ruoreszenzmarker oder andere Zelltypen wird durch die Venvendung des 
erfindungsgemaSen Verfahrens, welches ein kunstliches neuronales Netz darstellt, 
ermoglicht. 

25 

Das erfindungsgemaBe Verfahren detektiert biologische Objekte wie beispielsweise 
Zellen in Mikroskopbildem vollautomatisch, nachdem es von einem Benutzer trainiert 
wird, durch Versorgung mit einer Menge von Zell-positiven Bildausschnitten. Die 
Handhabung ist besonders bequem, da der Benutzer zum Trainieren nur Zellen auf 
30 dem Bildschirm markieren muss, was er in der sonstigen Labortatigkeit in Routine tut. ^ 
Das System eignet sich insofem zur schnellen Auswertung vieler Mikroskopbilder 
bezuglich einer Lokalisierung von Zellen. Das erfindungsgemaBe Verfahren ist auf 
Grund seiner Handhabbarkeit sehr einfach zu bedienen und auszufiihren. Es eignet 
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sich zur Unterstutzung jeder Art empirischer Arbeit mit Mikroskopbildem von 
biologischen Objekten im Hochschul- wie auch Industriebereich, in welchem der 
Durchsatz an Proben groB 1st und eine objektive und reproduzierbare Auswertung 
notwendig ist. 

in einer vorteilhaften Ausgestaltung des erfindungsgemaBen Verfahrens ist die Probe 
eine Gewebeprobe und das biologische Objekt eine Zelle. Es hat sich herausgestellt, 
daB das Verfahren insbesondere bei der automatischen Zelldetektion Vorteile 
gegenCiber herkommiichen bekannten Verfahren aufweist. 

In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemaBen Verfahrens 
werden die zu ermittelnden biologischen Objekte vor der Aufnahme der 
Mikroskopbilder mit einem Oder mehreren chemischen Markem markiert. Dabei kann 
zwischen der Aufnahme der einzelnen Mikroskopbilder ein Bleich- oder 
Waschvorgang durchgefuhrt werden. Die chemischen Marker konnen 
Fluorochrommarker und die Mikroskopbilder Fluoreszenzaufnahmen sein. 

Beispielsweise werden Fluorochrommarker auf Lymphozyten benutzt, um das 
Vorhandensein von Proteinen in der Zelloberflache von Lymphozyten zu ermitteln. 
Jeder Marker bindet an eine Untergruppe der Lymphozyten, die von der Existenz des 
entsprechenden Proteins in der Lymphozytenoberflachenmembran abhangig ist. 
Durch Fluoreszenzanregung treten die sich bindenden Lymphozyten mit hohen 
Intensitaten auf. Ein entsprechendes Mikroskopbild wird von einer CCD-Kamera 
aufgenommen. Danach wird der Marker mittels Bleiche von den Zellen entfernt und 
der Vorgang wird unter Verwendung eines anderen Markers wiederholt. In dem hier 
beschriebenen Ausfuhrungsbeispiel kann der das Markieren, die Bilderzeugung und 
das Bleichen umfassende Vorgang mit bis zu neun Markern wiederholt werden. 
Wahrend jeder Wiederholung bleiben die Positionen der Lymphozyten unverandert, 
wodurch ein Matching oder Ubereinstimmungsabgleich der Positionen zwischen den 
verschiedenen Bildem ermoglicht wird. In diesem experimentellen Setup werden 
insbesondere T-Lymphozyten analysiert, die bei einem klinischen Fall einer 
Sarkoidose in das Muskelgewebe eingewandert sind. Die Lymphozyten sind mit n=7 
Markem prapariert worden und es wurden sieben Fluoreszenzaufnahmen gemacht, 
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wobei verschiedene Untergruppen der Zellen durch Fluoreszenz in Erscheinung traten. 
Nach Abschluss aller n Schritte kann ein Satz von n Mikroskopbildern mit 
verschiedenen Lymphozyten-Untergruppen ausgewertet werden. Die Auswertung der 
n Mikroskopbilder erfolgt mit dem erfindungsgemaBen Verfahren. 

Dabei ist beispielsweise die Anzalil n der einzeinen in dem Verfahrensscliritt b) 
markierten biologischen Objekte, insbesondere Zellen. groBer Oder glelch 50. Fur 
jeden markierten Punkt wird dabei entschieden, ob dieser Punkt ein Zentrum einer 
Zelle ist Oder nicht. Da sicli die beispielsweise Lymphozyten wahrend einer 
Invasionssituation in organiscliem Fasermaterial befinden, ist ihre Form nicht zirkular, 
sondem unregelmaBig langlich, und wird als vonviegend konvex bezeichnet. Zur 
Klassifikation der biologischen Objekte wird eine besondere Form eines neuronalen 
Netzes, die sogenannte "Local Linear Map" (LLM) (Ritter, 1991, In: Artiflcal Neural 
Networks, Elsevier Science Publishers B.V.)- Der LLM-Klassifikator wird durch einen 
Satz von Bildausschnitten trainiert, die Zellen enthalten, Zum Trainieren des 
LLM-Klassifikators wird gemaB dem Verfahrensschritt b) ein Bild aus dem Bildersatz 
ausgewahlt. Des weiteren werden z.B. mittels einer Computermaus eine Gruppe 
fluoreszierender Zellen markiert. Die Gruppe von N x N groBen Bildausschnitten um 
diese Zellen herum ergibt den Satz positiver Trainingsbeispiele bzw. ein positives 
Trainingsset. Der erste Bildausschnitt ist gemaB einer vorteilhaften Ausgestaltung 
des erfindungsgemaBen Verfahrens quadratisch ausgebildet, wobei die GroBe N x N 
bzw, die Seitenlange N des ersten Bildausschnitts mindestens dem maximalen 
Durchmesser der biologischen Objekte im ersten Mikroskopbild entspricht. 

Ein weiterer Satz von zweiten Bildausschnitten wird gemaB dem Verfahrensschritt c) 
vollautomatisch beliebig aus demselben Bild ausgewahlt, wobei ein Mindestabstand 
von beispielsweise 3 - 5 Pixein zu den bereits markierten ersten Bildausschnitten 
eingehalten wird. Dieser zweite Satz stellt den Satz negativer Trainingsbelspiel- 
ausschnitte bzw. ein negatives Trainingsset dar. Die Anzahl m von zweiten Bild- 
ausschnitten ist gemaB einer vorteilhaften Ausgestaltung des erfindungsgemaBen 
Verfahrens groBer Oder gleich 50, wobei die zweiten Bildausschnitte automatisch 
unter Berucksichtigung des Mindestabstands zu den jeweiligen ersten 
Bildausschnitten definiert werden. 
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In einem Ausfuhrungsbeispiel wird fur jeden Trainingsbeispieiausschnitt ein djn 
-dimensionaler Merkmalsvektor x berechnet. Der Satz der selektierten Bildausschnitte 
wird einer Principal-Component-Analyse (PCA) unterzogen. Dies ist eine bekannte 
5 Technik bei Klassifikationsaufgaben in der ComputenAision. Die grundiegende Idee der 
PCA ist, dass der hochdimensionale Bildausschnitt hiert>ei in einen wesentlich 
geringerdimensionaien (din = ca. 6) Merkmalsraum at)geblldet wird. Diese Merkmale 
ergek>en sogenannte Eingangs-Merkmalsvektoren x. Die Merkmalsvektoren haben 
einen deutlich geringeren Datenumfang als die Bildausschnitte seibst. Aus der 
10 Berechnung der Mert<malsvektoren fur die positiven und negativen Eingangsbeispiele 
ergibt sich das Trainingsset des (Eingang, Ausgang)-Paares 

r = {(xa,ya)}a- 

15 Fur das positive Trainingsset wird ya gleich 1 gesetzt, und glelch 0 fiir die negativen. 
Die LLM ist gegetsen durch 

{wiin e Rdjn, w-,out e Rdo^rt; Ai e Rdinxdout. i = 1..I}. 

20 

Ein Tripel vi = (wj'", viiP^, Aj) wird als Knoten bezeichnet. Fur ein Training der LLM 
wird ein Paar (xa, ya) beliebig aus r selektiert, und die Lemregein 

Awkin =ein(xorWk'") 0) 
25 A wrO"* = e out(ya-y(xa))+AkAwk'" (2) 

(xo-wk"")^ 

AAk = eA(ya-y(Xa)) (3) 

I ko-wk'" I ^ 

30 
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werden ausgefuhrt. ein, eout, c ]0. 1[ sind absteigende LerhschrittgroBen und K 
gilt fur K = arg minx {I k-wk'"l ft- Daher ist wk'*^ der nachste Nachbar zum Eingang x. 
Dies vwrd I * 10000 mal wiederholt. 

5 Der trainierte LLM-Klassifikator fuhrt eine Abbildung von Fluoreszenzbildpunkten auf 
Klassrfikations- Oder Evidenzwerte in (0;1) durch. Urn den Klassifll<ationswert fiir 
belspielswelse eine fluoreszierende Zelle an einem Bildpunkt zu berechnen, wird der 
Merkmalsvektor x fur dessen Umgebungsregion berechnet. Der LLM-Ausgang fur den 
Eingangs x berechnet sich durch 



In dem beschriebenen Ausfuhrungsbeispiel betragt die Anzahl der Knoten 1=5 und die 
15 BlldausschnlttgroSe Ist N=1 5 Pixel. 

Um alle biologischen Objekte, wie z.B. fluoreszierenden Zellen in dem zweiten Oder 
jedenn weiteren Bild des Bildersatzes zu detektieren, wird jeder Bildpunkt durch (4) auf 
seinen Klasslfikationswert abgebildet. Die umgebende Bildregion des Punktes wird an 

20 den Klasslfikator gegeben, der deren Klasslfikationswert berechnet. Durch Berechnung 
der Klassifikationswerte fur jeden Punkt in einem Bild entsteht eine sogenannte 
Klassifikations- Oder Evidenzabbildung des Bildes. Regionen mit hohen 
Klassifikationswerten oder Evidenzen weisen auf bioiogische Objekte wie z.B. fluores- 
zierende Zellen in dem korrespondierenden Fluoreszenzbild hin. Alle Punkte mit einem 

25 Klassifikationswert groBer als z,B. 0,5 und ohne groBere Evidenzen in ihrer 
Nachbarschaft bilden die Gruppe von Positionen biologischer Objekte wie 
fluoreszierende Zellen in dem Bild. Entsprechend wird bei alien weiteren 
Mikroskopbildem des Bildersatzes vorgegangen. 



10 



y(x) = wrO*^ + Ak(x - wk'") 
wobei k = arg mink{l k - wk'N If- 



(4) 



30 



Die automatische Ermittelung von Klassifikationswerten von alien Bildpunkten des 
zweiten und jedes weiteren Mikroskopbildes gema3 Verfahrensschritt e) erfolgt 
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gemaB einer vorteilhaften Ausgestaltung der Erfindung durch ein Scannen der 
Bildflache des zweiten und jedes weiteren Mikroskopbildes. 

In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemaBen Verfahrens 
4 5 wird die durch die Verfahrensschrltte a) bis f) ermittelten Objektpositionen In der 
Gesamtzahl der Mikroskopbilder vergiichen, so daB sich eine raumliche 
Lagebestimmung und Verteilung der Einzelobjekte in der Probe ergibt. 

So konnen beisplelsweise Fluoreszenzmuster von Zellen ermittelt werden. Dabei 
10 werden nach dem Vorgang der Zelldetektion in alien Bildem lokal korrespondierende 
Fluoreszenzstellen in verschiedenen Bildem gefunden, urn Fluoreszenzen derselben 
Zelle auf ihr Markerkombinationsmuster abzubilden. Diese Korrespondenzanalyse 
beruht ausschlieBlich auf den Positionen der Zellen in den Bildem und stellt eine 
schwierige Aufgabe dar, da die ermittelten Positionen ein und derselben Zelle in 
15 verschiedenen Bildem nicht Immer exakt gleich sind. AuBerdem variiert die Anzahl 
fluoreszierender Zellen in den Bildem stark. Beide Aspekte machen ein einfaches Mat- 
ching auf der Grundlage lediglich der detektierten Zellpositionen unmdglich. Mit dem 
erfindungsgemaBen Verfahren werden derartige Probleme vermieden, indem die 
Klassifikationswerte bzw. Evidenzen aller Bilder des Satzes von Bildem ausgewertet 
20 werden. 



Indem die Klassifikationswerte bzw. Evidenzen aller n Bilder wie voranstehend 
beschrieben ermittelt werden, ergeben sich n Klassifikations- bzw. Evidenzwerte fiir 
ieden Punkt. Dann wird fur jeden Punkt der Maximalevidenzwert selektiert und an 

25 seinen Koordinaten in eine neue Evidenzabbildung eingetragen. Diese Abbildung wird 
als "Master Evidence Map** bezeichnet, da jedes biologische Objekt wie t}eispielsweise 
eine Zelle, das in wenigstens einem der Bilder auftrat, in dieser Abbildung durch einen 
hohen Evidenzwert reprasentiert wird. Durch Anwendung des Verfahrensschritts f) auf 
die „Master Evidence Map" ergeben sich alle Positionen der biologischen Objekte. 

30 Dieses Set von M Zellpositionen {(xj.yj)} wird als "Masterset" bezeichnet. AnschlieBend 
werden fur jedes biologische Objekt aus dem „Masterser die binaren 
Fluoreszenzwerte fj(0 gesammelt. fj von pj =: (fi(>), fn^')) wird auf 1 gesetzt, wenn 
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ein biologisches Objekt wie z.B. eine Zeile im j-ten Fiuoreszenzbild des Biidersatzes in 
enger Nachbarschaft zu ihren Koordinaten (xi,yi) detektiert wurde. Eine einfache lokale 
Matchingprozedur zwischen dem Masterset und den Kiassifikationswerten der fur alle 
Fluoreszenzbilder detektierten Positionen der biologischen Objekte bzw. Zelipositionen 
5 ergibt die binaren Fluoreszenzmuster alter detektierter Objekte bzw. ZeHen. ► 

Eine erfindungsgemaBe Verwendung des beschriebenen neuen Verfahrens zur 
automatischen Analyse von Mikroskopaufnahmen von biologischen Objekten ist die 
automatisierte Zellklasslfikation von fluoreszierenden Zellen. So wurde 

10 beispielsweise ein Satz von steben Fluoreszenzbildem gemaB dem 
erfindungsgemaBen Verfahren aufgenomnnen. Die sieben verschiedenen Marker sind 
cd2, cd3, cd4, cd8, cd11b, cd19 und cd26; diese sind bei der Fluoreszenzmikroskopie 
ubiiche Antikdrper-Marker. Das Trainingsset aller Zellausschnitte wurde von Hand 
selektiert, und zwar aus dem cd4-Bild. In jedem Bild wurden fiuoreszierende Zellen mit 

15 Hilfe des LLM-Klasslfikators detektiert. Mit Hilfe der Maximalbedingung der 
Klassifikationswerte bzw, Evidenzen, die von der LLM errechnet wurden, wurde die 
^Master Evidence Map" erzeugt. Von der „Master Evidence Map" wurden die 
Positionen von M = 550 fluoreszierenden Zellen extrahiert. SchlieBlich ergab der 
Schritt des lokalen Matchings die Markerkombinationsmuster pj, j = 1 , 550. 

20 

Zur Betrachtung der Verteiiung der Markerkombinationsmuster innerhalb der Gruppe 
von Lymphozyten wurden deren binare Muster (fi(0, fy^')) durch eine einfache 
Abbildung vom dualen System in das Dezimalsystem auf ein numerisches Label 
abgebildet. Die Haufigkeiten der Muster wurden gezahit und in einem Histogramm 
25 dargestellt (Histogramm von 27 = 128 Balken). Dabei ergibt sich, dass nur 24 von 128 
moglichen Mustem in der gesamten Gruppe von Lymphozyten gefunden wurden. Es 
dominieren drei Muster der Anzahl nach, (1000000) (= 1), (0010000) (=8) und 
(1010000) (=9). Dies sind Zellen, die sich nur an cd2 Oder an cd4 Oder nur an belde 
banden. Die ubrigen Haufigkeiten liegen unter 30. 

30 

Um einen Eindruck hinsichtlich der Koinzidenz eines bestimmten Markers im Vergleich 
zu ubrigbleibenden Markem zu erhalten, wurde fur jeden Marker ein 
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korrespondierendes Histogrammm berechnet. Es wurde die absolute Anzahl der 
Zellen, die mrt diesem ausgewahlten Marker fluoreszierten und die Anzahl der Zellen 
an, die mit diesem Mar1<er und mit dem Marker fluoreszierten, dargestellt. Es konnte 
ermittelt werden, dass die absolute Anzahl fluoreszierender Zellen stark variiert. Am 
5 dominantesten sind die Marker cd2 und cd4. Lymphozyten, die mit dem Marker cd19 
fluoreszenzmarkiert sind, treten selten auf und koinzidieren nur einmal mit einem 
anderen Marker (cd2). Dies bedeutet, dass dieser Marker hochgradig selektiv ist. Eine 
Starke Koinzidenz kann beispielsweise auch zwischen den Paaren (cd2, cd8), (cd3, 
cd8) und (cd2, cd3) beobachtet werden. 

10 

in dem beschriebenen Ausfuhrungsbeispiel wurden Mikroskopbilder von einem 
einzigen visuellen Feld aufgezeichnet und analysiert. Ist eine groBe Anzahl mehrerer 
hundert visueller Bilder gegeben, dann Ist es mit dem erfindungsgemaBen Verfahren 
mogllch, innerhalb einer relativ kurzen Zeit eine prazise statistische Analyse 
15 derjenigen Immunzellen-Untergruppen, welche die Stellen im Gewebe penetriert 
haben, vorzulegen. 
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Verfahren zur automatischen Analyse von Mikroskopaufnahmen 



Anspruche : 



1. Verfahren zur automatischen Analyse von Mikroskopaufnahmen von 
biologischen Objekten, insbesondere zur Analyse von Fluoreszenzaufnahmen 
von Zellen, 

dadurch gekennzeichnet, 

daB das Verfahren folgende Schritte umfasst: 

a) Aufnahme von mindestens zwei Mikroskopbildem einer Probe mit einer 
Vielzahl von biologischen Objekten; 

b) Auswahl eines ersten Mikroskopbildes und Markieaing der Position von 
Masseschwerpunkten einer Anzahl n der einzelnen In dem ersten 
Mikroskopblld erkennbaren Objekte, wobei jedem markierten Objekt ein 
definierter erster Bildausschnitt zugeordnet wird, der das markierte 
Objekt jeweils vollstandig umgibt und wobei jedem ersten Bildausschnitt 
mit einem markierten Objekt der Wert 1 zugeordnet wird und die Anzahl 
n von derart markierten ersten Bildausschnltten ein positives Trainingsset 
erglbt; 

c) Auswahl und Markierung einer Anzahl m von zweiten Bildausschnitten, 
die zu den ersten Bildausschnltten jeweils einen vorbestimmten 
Mindestabstand einhalten, wobei die GroBe und Fomi eines zweiten 
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10 



15 



20 



25 

2. 



Bildausschnitts der GroBe und Form des ersten Bildausschnitts 
entspricht und wobei jedem zweiten Bildausschnrtt der Wert 0 
zugeordnet wird und die Anzahl m von derart markierten zweiten 
Bildausschnitten ein negatives Trainingsset ergibt; 

d) Ermittelung charakteristischer Merkmale und/oder Merkmals- 
kombinationen des positiven und negativen Trainlngssets und 
Zuordnung zu einem Klassifikationswert zwischen 0 und 1» vy^obei der 
Klassifikationswert den Grad der Wahrscheinlichkeit des Vorhandenseins 
eines markierten Objekts reprasentiert und Speicherung der emnittelten 
Merkmale und/oder Merkmalskombinationen; 

e) Automatische Ermittelung von Klassifikationswerten von alien 
Bildpunkten des zweiten und jedes weiteren Mikroskopblldes mittels 
eines Vergieichs der Bilddaten des zweiten und jeden weiteren 
l\/likroskopbildes mit den in Verfahrensschritt d) ermrttelten Merkmalen 
und/oder Merkmalskombinationen, woi3ei fur jeden Bildpunkt des zweiten 
und jedes weiteren Mikroskopblldes der Klassifikationswert fur einen den 
Bildpunkt umgebenden Bildausschnitt ermittelt wird und die GroBe und 
Form dieses Bildaussctinitts der GroBe und Form des ersten oder 
zweiten Bildausschnitts entspriclit; und 

f) Erkennung der Position von biologischen Objekten in dem zweiten oder 
jedem weiteren Mikroskopbiid durch Auswertung der ermittelten 
Klassifikationswerte, wobei die ermittelten Klassifikationswerte mit einem 
vorgegebenen Schwellenwert vergliclien werden, der das Vorhandensein 
eines biologischen Objekts reprasentiert. 

Verfahren nach Anspruch 1 . 
dadurch gekennzeichnet, 

daB die Probe eine Gewebeprobe und das biologische Objekt eine Zelle ist. 



30 3. 



Verfahren nach Anspruch 1 oder 2, 
dadurch gekennzeichnet, 
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8. 



daB die zu ermittelnden biologischen Objekte vor der Aufnahme der 
Mikroskopbilder mit einem Oder mehreren chemischen Markern markiert 
warden. 



dadurch gekennzeichnet, 

daB die zu ermittelten Objekte vor der Aufnahme der Mikroskopbilder mit 
mehreren chemischen Markern markiert werden, wobei zwischen der 
Aufnahme der einzelnen Mikroskopbilder ein Bleich- Oder Waschvorgang 
durchgefuhrt wird. 

Verfahren nach Anspruch 3 Oder 4, 
dadurch gekennzeichnet, 

daB die chemischen Marker Fluorochrommarker und die Mikroskopbilder 
Fluoreszenzaufnahmen sind. 

Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

daB die Mikroskopbilder mittels einer CCD-Kamera aufgenommen und 
digitalisiert werden. 

Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

daB die Anzahl n der einzelnen In dem Verfahrensschritt b) markierten 
biologischen Objekte groBer Oder gleich 50 ist. 

Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

daB der erste Blldausschnitt quadratisch ausgebildet ist, wobei die GroBe bzw. 
die Seitenlange des ersten Blldausschnitts mindestens dem maximalen 
Durchmesser der biologischen Objekte Im ersten MIkroskopbild entspricht. 



y 



Verfahren nach Anspruch 3, 



9. 



Verfahren nach einem der vorhergehenden Anspruche, 
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dadurch gekennzeichnet, 

daB die Anzahl n von zweiten Bildausschnitten groBer Oder gleich 50 ist, wobei 
die zweiten Bildausschnitte automatisch unter Berucksichtigung des 
Mindestabstands zu den jeweiligen ersten Bildausschnitten definiert werden. 

1 0. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

da3 die automatische Ermittelung von Kiassifikationswerten von alien 
Bildpunkten des zwerten und jedes weiteren Mikroskopbildes gemaB 
Verfahrensschritt e) durch ein Scannen der Bildflache des zweiten und jedes 
weiteren Mikroskopbildes erfolgt. 

1 1 . Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

daB der Schwellenwert des Kiassrfikationswerts, der das Vorhandensein eines 
biologischen Objekts reprasentiert, mindestens 0,5 betragt. 

12. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

daB die durch die Verfahrensschritte a) bis f) ermittelten Objektpositionen in 
der Gesamtzahl der Mikroskopbilder verglichen wird, so daB sich eine 
raumliche l-agebestimmung und Verteilung der Einzelobjekte in der Probe 
ergibt. 

13. Verwendung eines Verfahrens gemaB dem Anspruch 1 zur automatisierten 
Zellklassifikation von fluoreszierenden Zellen. 
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WORTLAUT DER ZUSAMMENFASSUNG (Fortsetzung von Punkt 5 auf Blatt 1) 



Ein Verfahren zur automat ischen Analyse von Mikroskopauf nahmen von 
biologischen Objekten wie beispielsweise Fluoreszenzauf nahmen von 
Zellen umfasst : 

a) Aufnahme von mindestens zwei Mikroskopbildern einer Probe 

b) Bestimmung eines positiven Trainingssets von Bildausschnitten 

c) Bestimmung eines negativen Trainingssets von Bildausschnitten 

d) Zuordnung von charakterischen Merkmalen der Trainingssets zu 

Klassif ikationswerten 

e) automatische Bestimmung der Klassif ikationswerte folgender 

Auf nahmen mittels der in d) bestimmten Zuordnung 

f) Erkennung der Position biologischer Objekte durch Vergleich des 
Klassif ikationswertes mit einem Schwellwert 
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(57) Abstract: The invention relates to a method for the automatic analysis of microscope images of biological objects such as, 
for example, fluorescence images of cells, comprising: a) recording at least two microscope images of a sample; b) determining 
a positive training set from image excerpts; c) determining a negative training set from image excerpts; d) assigning classification 
values to characteristic features of a training set; e) automatically determining classification values of subsequent images by means of 
the assignment determined in D); f) detecting the position of biological objects by comparing the classification value with a threshold 
value. 

(57) Zusammenfassung: Ein Verfahren zur automatischen Analyse von Mikroskopaufnahmen von biologischen Objekten wie bei- 
spielsweise Fluoreszenau&iahmai von Zellen umfasst: a) Auftiahme von mindestens zwei Mikroskopbildera einer Probe; b) Be- 
stimmung eines positiven Trainingssets von Bildausschnitten; c) Bestimmung eines negativen Trainingssets von Bildausschnitten; 
d) Zuordnung von charakterischen Merkmalen der Trainingssets zu Klassifikationswerten; e) automatische Bestimmung der Klassi- 
fikationswerte folgender Aufnahmen mittds der in d) bestimmten Zuordnung; f) Eikennung der Position biologischer Objekte durch 
Vergleich des Klassifikationswertes mit einem SchwellwerL 



INTB] 



lONAL SEARCH REPORT 



Inter^^ nai Application No 

PCT/EP 00/10833 



A. CLASSIFICATION OF SUBJECT MATTER 

IPC 7 G01N15/14 



According to International Patenl Classrficalion (IPC) or to both naiionaJ classification and IPC 



B. RELDS SEARCHED 



Minimum documentation searched (ctassificaiton system followed by classification symbols) 

IPC 7 GOIN 



Documentation searched other ttian minimum documentation to the extent that sucfi documents are included in the fields searched 



Electronic data base consulted during the intemational search (name of data baise and. where practical, search terms used) 

EPO-Internal , PAJ 



0. DOCUMENTS CONSIDERED TO BE RELEVANT 



Category " Citation of document, with indication, where appropriate, of the relevant passages 



Relevant to daim No. 



us 5 287 272 A (HALL THOMAS L ET AL) 

15 February 1994 (1994-02-15) 

column 15, line 20 -column 17, line 30 



US 5 741 648 A (RAO JIAN YU 
21 April 1998 (1998-04-21) 
abstract; example 6 



ET AL) 



US 5 181 259 A (RORVIG MARK E) 
19 January 1993 (1993-01-19) 

column 1, line 54 -column 2, line 57 

column 3, line 17 -column 4, line 2 

column 5, line 30 -column 8, line 17 

US 5 245 672 A (WILSON CHARLES L ET AL) 
14 September 1993 (1993-09-14) 

column 1, line 40 -column 2, line 53 

column 6, line 49 -column 8, line 13 

-/-- 



1,13 



1.13 



1,13 



1,13 



Further documents are listed in the continuation of box C. 



[)( I Patent family members are listed in annex. 



° Special categories of cited documents : 

•A' docuPDent defining the general state of the art which is not 
considered to be of particular relevance 

"E' earlier document but published on or after the intemational 
filing date 

'L' document which may throw doubts on priority claim(s) or 
which is cited to establish the publication date of another 
citation or other spectaf reason (as specified) 

'O" document referring to an oral disclosure, use. exhibition or 
other means 

'P* document published prior to tt\e intemational filing date but 
later than the priority date claimed 



'T* later document published after the International filing date 
or priority date and not in conflict with the application but 
cited to understand the principle or theory underlying the 
invention 

*X' document of particular relevance: the claimed invention 
canrK>t be considered novel or cannot be considered to 
invofve an inventive step when the document is taken atone 

*Y' document of particular relevance: the claimed invention 

cannot t>e considered to involve an inventive step when the 
document is combined with one or more other such docu- 
ments, sucfi combination being obvious to a person skilled 
in the art. 

docuntent member of the same patent family 



Date of the actual completion of the intemational search 



22 May 2001 



Date of mailing of the international search report 



01/06/2001 



Name and rr^ailing address of the ISA 

European Patent Office, P.B. 5818 Palentlaan 2 
NL - 2280 HV Rqswijk 
TeL (+31-70) 340-2040, Tx. 31 651 epo nl. 
Fax: (+31-70)340-3016 



Authorized officer 



Zinngrebe, U 



Form PCT/ISA/2t0 (second sheets (July 19©2) 



page 1 of 2 



INT 



ONAL SEARCH REPORT 



Interr. nal Application No 

PCT/EP 00/10833 



C^Conttnuatlon) DOCUMENTS CONSIDERED TO BE RELEVANT 



Category * Citation of document, witti indication, where appropriate, of the relevant passages 



Relevant to claim No. 



wo 97 37327 A (VXTREME INC ;CHADDHA NAVIN 
(US)) 9 October 1997 (1997-10-09) 
abstract 

6B 2 320 352 A (NIPPON ELECTRIC CO) 
17 June 1998 (1998-06-17) 
abstract; figure 1 



1,13 



1,13 



Form PCT/ISA/210 (continuation ot second sheet) (July 1992) 



page 2 of 



2 



INTERIBHPIONAL SEARCH REPORT 

information on patent family memt>ers 



Interr nal Application No 

PCT/EP 00/10833 



Patent document 
cited in search report 


Publication 
date 


Patent family 
member(s) 


Publication 
date 


us 5287272 A 


15-02-1994 


US 


4965725 


A 


23-10-1990 




US 


5544650 


A 


13-08-1996 




US 


5740270 


A 






US 


5939278 


A 


17-08-1999 




AT 


140327 


T 


15-07-1996 




AU 


628342 


B 


17-09-1992 




AU 


3541589 


A 


03-11-1989 

Wn^ XX X^W7 




BG 


51463 


A 


14-05-1993 




BR 


8907355 


A 


19-03-1991 

X^ \J XJ^X 




CA 


1323700 


A 


26-10-1993 




CN 


1037035 


A,B 


08-11-1989 




DE 


68926796 


D 


14-08-1996 




DE 


68926796 


T 


07-11-1996 

w/ XX X7JV 




DK 


262490 


A 


01-11-1990 

wX XX X77U 




EP 


0336608 


A 


11-10-1989 

XX XU X70? 




ES 


2090033 


T 


16-10-1996 

XW XU X7^W 




FI 


101653 


B 


31-07-1998 

^X U/ X77U 




GR 


3021252 


T 


31-01-1997 

^X VX X77r 




HK 


1003583 


A 


30-10-1998 




HU 


59239 


A,B 


28-04-1992 

t-Kj W*t X77iu 




JP 


4501325 


T 


05-03-1992 




MC 


2101 


A 


15-02-1991 

X «j x?7x 




NO 


904341 


A - 


03-12-1990 




RO 


106931 


6 


30-07-1993 




SG 


46454 


A 


20-02-1998 




RU 


2096827 


C 


20-11-1997 




MO 


8909969 


A 


19-10-1989 




ZA 


8902558 


A 


27-12-1989 



US 


5741648 


A 


21-04-1998 


US 


5733721 


A 


31-03-1998 










US 


6194165 


B 


27-02-2001 










US 


5824495 


A 


20-10-1998 


US 


5181259 


A 


19-01-1993 


NONE 








US 


5245672 


A 


14-09-1993 


NONE 









WO 9737327 A 09-10-1997 AU 2551597 A 22-10-1997 



GB 2320352 


A 


17-06-1998 


JP 


2815045 


B 


27-10-1998 








JP 


10177650 


A 


30-06-1998 








AU 


4836997 


A 


18-06-1998 








CA 


2224770 


A 


16-06-1998 








US 


6067369 


A 


23-05-2000 



Foim PCT/lSA/210 (patent tamHy annex) (July 1892) 



THIS PAGE BLANK 



INTERNATION 



RECHERCHENBERICHT 



Intern .lales Atctenzeichen 

PCT/EP 00/10833 



A. KLASSIFIZIERUNQ OES ANUELDUNQSGEQENSTANOES 

IPK 7 601N15714 



Nach der Interna! tonalen Patentklassifikation (IPK) Oder nach der nalionalen Klassifikation und der IPK 



B. RECHERCHIERTE GEBtETE 



Recherchierter Mtndestprufstoff (Klassifikatlonssystem und Ktassiflkationssymbole ) 

IPK 7 GOIN 



Recherchlerte aber ntcht zum Mindestprufsloff gehdrende Veroffenttichungen. sowett diese unter die recherchierlen Gebiete fallen 



wahrend der inlemationaJen Recherche konsuttierte eiektronische Datenbank <Name der Dalenbank und evtl. ven^endete Suchbegriffe) 

EPO-Internal , PAJ 



C. ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie* 



Bezelchnung der Veroffentlichung, soweit erforderlich unter Angabe der in Betracht kommenden Telle 



Betr. Anspruch Nr. 



us 5 287 272 A (HALL THOMAS L ET AL) 

15. Februar 1994 (1994-02-15) 

Spalte 15, Zeile 20 -Spalte 17, Zelle 30 



US 5 741 648 A (RAO J I AN YU 
21. April 1998 (1998-04-21) 
Zusammenf assung; Be1 spiel 6 



ET AL) 



US 5 181 259 A (RORVIG MARK E) 
19. Januar 1993 (1993-01-19) 
Spalte 1, Zeile 54 -Spalte 2, Zeile 
Spalte 3, Zeile 17 -Spalte 4, Zeile 
Spalte 5, Zeile 30 -Spalte 8, Zeile 



1,13 



1,13 



1,13 



57 
2 

17 



US 5 245 672 A (WILSON CHARLES L ET AL) 
14. September 1993 (1993-09-14) 
Spalte 1, Zeile 40 -Spalte 2, Zeile 53 
Spalte 6, Zeile 49 -Spalte 8, Zeile 13 

-/-- 



1,13 



Wettere Veroffeniltchungen sind der Fortsetzung von Feld C zu 
entnehmen 



Siehe Anhang Patentfamilie 



° Besondere Kategorien von angegebenen Veroftentlrchungen 

*A' Verdffentlk:hung, die den allgen^einen Stand der Techntk definien, 
aber nicht als besonders bedeutsam anzusehen tst 

*E' dtteres Ookument. das fedoch er^ am oder nach denn tntematk>na]en 
AnmeWedatum verdftentiicht worden ist 

*L* Verdffentlichung. die geeignet Ist, einen Prioritatsanspruch zweifelhaft er- 
scheinen zu tassen, oder durch <fie das Veroffentlichungsdatum einer 
anderen tm Recherctienbencht genannten Veroffentlichung belegt werden 
soil Oder die aus einenn anderen besonderen Grund angegeben ist (wie 
ausgefuhrt) 

'O* \/erdffentlk;hung, die sich aul eine mundliche Offenbarung. 

eine Benutzung, eine Ausstetlung oder andere MaOnahnnen bezieht 
*P* Veroffentlichung, die vor defn intematronalen Annnekledatunn. aber nach 

dem beanspruchten Prioritatsdatum veroffenlllchi worden ist 



'T Spatere Veroffentlichung, die nach dem intemationalen Anmektedatum 
Oder dem Priorit§tsdatum veroffentticht worden ist und mit der 
Anmeklung nteht kolltdiert, sondem nur zum Verst^ndnis des der 
Eifindung zugrundeliegenden Prinzips oder der ^r zugrundeDegenden 
Theorie angegeben ist 

'X' Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann aBein aufgrund dieser Veroffentlichung nicht als neu oder auf 
erfinderischer Taligkeit beruhend betrachtet werden 

'Y* Ver6ffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nk:ht als auf erfinderischer Tattgteit teruhend betrachtet 
werden, wenn die Veroffentiichung mit einer oder mehreren anderen 
Ver6ffentlk:hungen dieser Kategohe in Verbindung gebracht wird und 
diese Verbindung fur einen Fadhmann naheliegend isl 

Veroffentlichung, die Milglied derselben Patentfamilie Ist 



Datum des Abschlusses der intematk>nalen Rectierche 



22. Mai 2001 



Absendedalum des intematk>nalen Recherchenberichts 



01/06/2001 



Name und Postanschrift der tntematkmalen Recherchenbehorde 
EuropSisches Patentamt, P.B. 5818 Patentlaan 2 
NL - 2280 HV Riiswijk 
Tel. (+31-70) 34O-2040. Tx. 31 651 epo nl. 
Fax: (+31-70) 340-3016 



Bevotlm^httgter Bediensteter 



Zinngrebe, U 



Fofmblatt PCT/lSA/210 (Blatt 2) (Juli 1992) 



Seite 1 von 2 



INTERNATION 



RECHERCHENBERICHT 



Intern .nales Aktenzeichen 

PCT/EP 00/10833 



C.(Foitsetzung) ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kalegorie" Bezeichnung der Veroffenllichung, soweit erforderiich unter Angabe der in Betracht kommenden Teite 



Betr Anspmch Nr 



wo 97 37327 A (VXTREME INC ;CHADDHA NAVIN 
(US)) 9. Oktober 1997 (1997-10-09) 
Zusanunenfassung 

GB 2 320 352 A (NIPPON ELECTRIC CO) 
17. Juni 1998 (1998-06-17) 
Zusanunenfassung; Abblldung 1 



1,13 



1,13 



Formbtett PCT/lSA/210 (Fortsetzung von Blatt 2) (Juli 1992) 



Se1te 2 von 2 



INTERNATIONAI» RECHERCHENBERICHT 

Angaben zu Veroffentlichungen. die zur sett>en Paientfamibe gehdren 



.ales Akienzeichen 



PCT/EP 00/10833 



Im Recherchenbericht 
angefuhrtes Patentdokument 


Datum der 
Veroffentlichung 


Mitgijed(er} der 
Patentfamilie 


Datum der 
Verdffentlichung 


US 5287272 A 


15-02-1994 


US 


4965725 


A 


23-10-1990 




US 


5544650 


A 


13-08-1996 




US 


5740270 


A 


14-04-1998 




us 


5939278 


A 


17-08-1999 




AT 


140327 


T 


15-07-1996 




All 

AU 


628342 


B 


17-09-1992 




AU 


3541589 


A 


03-11-1989 




BG 


51463 


A 


14-05-1993 




BR 


8907355 


A 


19-03-1991 




CA 


1323700 


A 


26-10-1993 




CN 


1037035 


A,B 


08-11-1989 




DE 


68926796 


D 


14-08-1996 




DE 


68926796 


T 


07-11-1996 




DK 


262490 


A 


01-11-1990 




EP 


0336608 


A 


11-10-1989 




ES 


ft ft ft ft ft ft ft 
2090033 


T 


16-10-1996 




FI 


101653 


B 


31-07-1998 




GR 


3021252 


T 


31-01-1997 




HK 


1003583 


A 


30-10-1998 




HU 


59239 


A,B 


28-04-1992 




JP 


4501325 


T 


05-03-1992 




MC 


2101 


A 


15-02-1991 




NO 


904341 


A 


03-12-1990 




RO 


106931 


B 


30-07-1993 




SG 


46454 


A 


20-02-1998 




RU 


2096827 


C 


20-11-1997 




WO 


8909969 


A 


19-10-1989 




ZA 


8902558 


A 


27-12-1989 



US 5741648 A 21-04-1998 US 5733721 A 31-03-1998 

US 6194165 B 27-02-2001 
US 5824495 A 20-10-1998 



US 5181259 A 19-01-1993 KEINE 



US 5245672 A 14-09-1993 KEINE 



WO 9737327 A 09-10-1997 AU 2551597 A 22-10-1997 



GB 2320352 A 17-06-1998 JP 2815045 B 27-10-1998 

JP 10177650 A 30-06-1998 

AU 4836997 A 18-06-1998 

CA 2224770 A 16-06-1998 

US 6067369 A 23-05-2000 



Formblatt PCT/JSA/210 (Anhang PaterTt!am»lio)(Juli 1992) 



